Wie überprüfe ich ein Backup Prozess mit pg_dump

Hallo,

in einem aktuellen Fall konnte ein Backup mit pg_dump nicht mehr mit
pg_restore zurückgegespielt werden, da das Backup fehlerhaft war. Daher
möchte ich bei dem täglichen Backup per Script überprüfen ob das Ba=
ckup
mit pg_dump ohne Fehler abgeschlossen hat. Aufgrund der Größe der
Datenbank nutze ich "-Fc" zum komprimieren des Dumps.

Leider liefert pg_dump keinen eindeutigen Ergebniscode zurück an dem
fest gemacht werden kann ob ein Fehler vorliegt oder nicht.

Wie kann ich am besten sicherstellen ob pg_dump ein fehlerfreies Backup
erstellt hat?

Vielen Dank im Voraus für einen Tipp.

Ralf

--=20
Sent via pgsql-de-allgemein mailing list (pgsql-de-allgemein@postgresql.org)
To make changes to your subscription:
http://www.postgresql.org/mailpref/pgsql-de-allgemein

Re: Wi

am Thu, dem 30.10.2008, um 8:59:08 +0100 mailte Ralf Emanuel folgendes:
> Hallo,
>=20
> in einem aktuellen Fall konnte ein Backup mit pg_dump nicht mehr mit
> pg_restore zurückgegespielt werden, da das Backup fehlerhaft war. Dah=
er

Welche Version und exakte Fehlermeldung, bitte.


Andreas
--=20
Andreas Kretschmer
Kontakt: Heynitz: 035242/47150, D1: 0160/7141639 (mehr: -> Header)
GnuPG-ID: 0x3FFF606C, privat 0x7F4584DA http://wwwkeys.de.pgp.net

--=20
Sent via pgsql-de-allgemein mailing list (pgsql-de-allgemein@postgresql.o=
rg)
To make changes to your subscription:
http://www.postgresql.org/mailpref/pgsql-de-allgemein

Re: Wie überprüfe ich ein Backup Prozess mit pg_dump

Ralf Emanuel wrote:
> Leider liefert pg_dump keinen eindeutigen Ergebniscode zurück an dem
> fest gemacht werden kann ob ein Fehler vorliegt oder nicht.

Sollte eigentlich schon ...

> Wie kann ich am besten sicherstellen ob pg_dump ein fehlerfreies Backup
> erstellt hat?

Dump wieder einspielen, nochmal rausdumpen und diff drüber.

--=20
Sent via pgsql-de-allgemein mailing list (pgsql-de-allgemein@postgresql.o=
rg)
To make changes to your subscription:
http://www.postgresql.org/mailpref/pgsql-de-allgemein

Re: Wie überprüfe ich ein Backup Prozess mit pg_dump

http-equiv=3D"Content-Type">



Hallo,



bzgl. des pg_dump Problems ist dies aktuell mit der Version 8.1
aufgetreten. Der Dump läuft per Scheduler gesteuert jeweils Nachts um
01:00 Uhr. Der Dump wurde Tag für Tag erstellt, nur leider fehlerhaft.
Aufgefallen ist es dann bei einem Update auf die Version 8.2.10. Beim
manuellen überprüfen trat der Fehler bei Copy-Prozess auf. Wir haben
die Datenbank mittlerweile sehr aufwendig mit eigenen Scripten
repariert.



Da ich ausschließen möchte, dass so etwas noch einmal passiert, möc=
hte
ich sicherstellen, dass die Dumps fehlerfrei erstellt werden. Dafür
habe ich das Script erweitert und den Return Wert ausgewertet. Es wird
jedoch kein Wert von pg_dump zurückgeliefert.

---snip---

ERRCODE1=3D`su - $PGUSER -c "pg_dump -p 5433 -f $BACKUPTMP/opencms.dump
-Fc -Z9 -EUNICODE opencms-1-7"`

ERRCODE2=3D`su - $PGUSER -c "pg_dump -p 5433 -f $BACKUPTMP/ts.dump -Fc
-Z9 -EUNICODE tourismussuite-1-7"`

ERRCODE3=3D`su - $PGUSER -c "pg_dump -p 5433 -f
$BACKUPTMP/buchung-tcf.dump -Fc -Z9 -EUNICODE buchung-1-7"`



ERRCODE4=3D`tar -czvf $BACKUPDIR/db-backup.$SERVER-$DATE.tar.gz
$BACKUPTMP/ts.dump $BACKUPTMP/opencms.dump $BACKUPTMP/buchung-tcf.dump` r>


if [ "$ERRCODE1 -ne 0" -o "$ERRCODE2 -ne 0" -o "$ERRCODE3 -ne 0" -o
"$ERRCODE4 -ne 0" ] ; then

   $CAT $MAILTO | while read line

   do

    =A0 echo "InSchleife"

    =A0 $MAIL $line -s $SUBJECT < $ERRTEXT

   done

fi

--snip--



Wie gesagt, handelt es sich um ein automatisches Backup. Was das diff
bringen soll habe ich nicht ganz kapiert.



Warum liefert pg_dump (v 8.2.10) kein return value? Gibt es evtl. eine
andere Lösung das Backup auf Vollständigkeit zu überprüfen?



Vielen Dank und Grüße

Ralf





Peter Eisentraut schrieb:

Ralf Emanue=
l
wrote:

Leider liefert pg_dump keinen eindeutigen
Ergebniscode zurück an dem


fest gemacht werden kann ob ein Fehler vorliegt oder nicht.

Sollte eigentlich schon ...

Wie kann ich am besten sicherstellen ob
pg_dump ein fehlerfreies Backup


erstellt hat?

Dump wieder einspielen, nochmal rausdumpen und diff drüber.

Re: Wie überprüfe ich ein Backup Prozess mit pg_dump

This is a multi-part message in MIME format.
--------------010502000303020800090205
Content-Type: text/plain; charset=ISO-8859-15; format=flowed
Content-Transfer-Encoding: quoted-printable

Hallo Laurenz Albe,

ich habe den ganzen Prozess noch einmal aufgerollt und die=20
Fehlermeldungen recherchiert.
Datenbank: 8.2.7
OS: Linux
Dump Befehl: pg_dump -f datei.dump -Fc -Z9 -EUNICODE

Bei der ersten DB wird folgender Fehler ausgeworfen:
--snip--
pg_dump: Error message from server: ERROR: could not access status of=20
transaction 264714840
DETAIL: Could not open file "pg_clog/00FC": Datei oder Verzeichnis=20
nicht gefunden.
pg_dump: The command was: COPY public.systemlog (systemlog_id, lvl,=20
datum, loggername, servername, nachricht, daten, klasse, methode,=20
stacktrace, flag, flag_benutzer_id) TO stdout;
--snip--

Bei einer weiteren DB wird folgender Fehler ausgeworfen:
--snip--
pg_dump: SQL command failed
pg_dump: Error message from server: ERROR: invalid page header in block=20
4782 of relation "pg_toast_14155985"
pg_dump: The command was: COPY public.cms_online_contents (content_id,=20
resource_id, file_content) TO stdout;
--snip--

Weitere DBs auf dem gleichen Server können ohne Probleme gedumped werde=
n.

Vorab Danke für Eure Unterstützung.

Gruß

RE



Albe Laurenz schrieb:
> Ralf Emanuel wrote:
>
> =20
>> es geht mir nicht um die Fehlermeldung.
>> =20
>
> ... also auch nicht um die Lösung.
>
> =20
>> Ich möchte nur wissen, wie und ob pg_dump ein return value=20
>> zurück gibt mit dem überprüft werden kann ob der Dump sauber=20
>> ist. In der Doku steht nichts dazu. Gerne auch alternative=20
>> Vorschläge.=20
>> =20
>
> Naja, das ist ganz einfach.
>
> Wenn pg_dump der Meinung ist, daß der Dump nicht gut ist, gibt es ein=
en
> Fehler zurück (z.B. weil das Filesystem voll ist).
>
> Wenn pg_dump der Meinung ist, daß der Dump gut ist, meldet es Erfolg.
>
> Wenn pg_dump einen Softwarefehler hat, der bewirkt, daß der Dump nich=
t
> erfolgreich eingespielt werden können wird, meldet es Erfolg, weil es=
das
> nicht wissen kann.
>
> Wenn der Benutzer einen Unsinn machen wird, wenn er den Dump einspielt,
> und es deshalb fehlschlagen wird, meldet pg_dump trotzdem einen Erfolg,
> weil auch das kann es nicht voraussehen.
>
>
> Wenn wir Ihnen glauben können, daß pg_dump Erfolg gemeldet hat, kan=
n es
> nicht der erste Fall sein.
>
>
> Um herauszubekommen, welcher der verbleibenden möglichen Fälle zutr=
ifft,
> brauchen wir Information und ... erraten ...
>
> Die Fehlermeldung! Bingo!
>
> Liebe Grüße,
> Laurenz Albe
>
> =20

--=20

? TourismusSuite - Ihre Destination im Griff
++ Internet Booking Engine ++ Touristisches Content Management ++=20
Destinations Management

Erfahren Sie mehr unter www.TourismusSuite.com=20


--
*Ralf Emanuel*
Geschäftsführer

inexweb ralf emanuel GmbH
Hamtorstraße 16
D-41460 Neuss
Fon: +49 (0) 21 31 / 3 66 60-70
Fax: +49 (0) 21 31 / 3 66 60-88
www.inexweb.de

--
Geschäftsführer: Ralf Emanuel
Handelsregister: HRB 10160, Amtsgericht Neuss


--------------010502000303020800090205
Content-Type: text/html; charset=ISO-8859-15
Content-Transfer-Encoding: quoted-printable




http-equiv=3D"Content-Type">


Hallo Laurenz Albe,



ich habe den ganzen Prozess noch einmal aufgerollt und die
Fehlermeldungen recherchiert.

Datenbank: 8.2.7

OS: Linux

Dump Befehl: pg_dump -f datei.dump -Fc -Z9 -EUNICODE <tabelle>



Bei der ersten DB wird folgender Fehler ausgeworfen:

--snip--

pg_dump: Error message from server: ERROR:=A0 could not access status of
transaction 264714840

DETAIL:=A0 Could not open file "pg_clog/00FC": Datei oder Verzeichnis
nicht gefunden.

pg_dump: The command was: COPY public.systemlog (systemlog_id, lvl,
datum, loggername, servername, nachricht, daten, klasse, methode,
stacktrace, flag, flag_benutzer_id) TO stdout;

--snip--



Bei einer weiteren DB
wird folgender Fehler ausgeworfen:

--snip--

pg_dump: SQL command failed r>
pg_dump: Error message from server: ERROR:=A0 invalid page header in
block 4782 of relation "pg_toast_14155985"

pg_dump: The command was: COPY public.cms_online_contents (content_id,
resource_id, file_content) TO stdout;

--snip--



Weitere DBs auf dem gleichen Server können ohne Probleme gedumped
werden.



Vorab Danke für Eure Unterstützung.



Gruß



RE







Albe Laurenz schrieb:
cite=3D"mid:D960CB61B694CF459DCFB4B0128514C202ACEE28@exadv11 .host.magwie=
n.gv.at"
type=3D"cite">

Ralf Emanuel wrote:



  

es geht mir nicht um die Fehlermeldung.

    

.... also auch nicht um die Lösung.



  

Ich möchte nur wissen, wie und ob pg_dump ein return=

 value=20

zurück gibt mit dem überprüft werden kann ob der Dump sauber=20

ist. In der Doku steht nichts dazu. Gerne auch alternative=20

Vorschläge.=20

    

Naja, das ist ganz einfach.



Wenn pg_dump der Meinung ist, daß der Dump nicht gut ist, gibt es einen

Fehler zurück (z.B. weil das Filesystem voll ist).



Wenn pg_dump der Meinung ist, daß der Dump gut ist, meldet es Erfolg.



Wenn pg_dump einen Softwarefehler hat, der bewirkt, daß der Dump nicht

erfolgreich eingespielt werden können wird, meldet es Erfolg, weil es d=

as

nicht wissen kann.



Wenn der Benutzer einen Unsinn machen wird, wenn er den Dump einspielt,

und es deshalb fehlschlagen wird, meldet pg_dump trotzdem einen Erfolg,

weil auch das kann es nicht voraussehen.





Wenn wir Ihnen glauben können, daß pg_dump Erfolg gemeldet hat, kann =

es

nicht der erste Fall sein.





Um herauszubekommen, welcher der verbleibenden möglichen Fälle zutrif=

ft,

brauchen wir Information und ... erraten ...



Die Fehlermeldung! Bingo!



Liebe Grüße,

Laurenz Albe